基于可编程片上系统的实时立体匹配算法研究

【摘要】双目立体视觉是计算机视觉的一个重要研究内容,它通过两台安装在同一基线间隔一定距离的摄像机拍摄同一场景,以获得该场景在两个视角的图像数据。再通过立体匹配计算出物体表面的深度信息,从而实现重建场景的三维结构。相比其他类型的立体视觉方法,双目立体视觉直接模拟人类眼睛处理视觉信息的方式,具有重建分辨率高、使用场景广泛、可靠、简单的优势。目前,双目立体视觉系统主要应用在行星车、机器人自主导航及智能车无人驾驶等领域,在民用邻域的成功应用还非常少。主要原因在于实时性和鲁棒性方面无法满足需要,特别是对高分辨率立体图对(1024×768像素及以上)处理很难能达到实时性要求。立体匹配是立体视觉系统中最耗时的环节,因此本文从提高立体匹配的准确性及实时性两个方面进行研究,对立体视觉系统在实际应用中的推广具有良好的应用价值。提出了一种改进的稀疏Census变换的非参量局部立体匹配算法。传统的Census变换将变换窗口中心像素与变换窗口内所有像素进行灰度值大小比较获得Census像素值以替代中心像素的灰度值,该Census像素比原始灰度值数据量有数倍的增加。传统的稀疏Census变换将变换窗口中心像素与变换窗口内小部分像素进行灰度值大小比较获得数据量减少的Census像素值,但是该Census像素所包含的相关信息量明显减少,有可能造成误匹配。本算法通过分析变换窗口内像素对中心像素相关信息的贡献度大小,提出了选取变换窗口内像素按照特定分布位置两两进行灰度值大小比较的方式实现稀疏Census变换。该稀疏Census变换为后续立体匹配过程提供的数据量与原始灰度图相当,但是包含的相关信息数量比传统稀疏Census增加了一倍,可以有效地提高算法的实时性和鲁棒性。通过对立体匹配算法流程进行并行性分析及建模,实现了一套基于FPGA逻辑电路实现与加速的稀疏Census变换的非参量局部立体匹配算法电路。该算法电路采用流水线并行结构,流水线中包含了Census变换、汉明码距提取、汉明码距累加和计算、代价聚合、视差解析及左右一致性检测等立体匹配算法所需模块。算法核心工作在60MHz工作频率就可以实现高分辨率立体图对70帧每秒的匹配处理能力,具有非常好的实时性能。利用可编程片上系统(SoPC)技术,将立体匹配算法模块与可配置的32位嵌入式微处理器软核及各种外设IP集成,提出了一套基于FPGA芯片的片上系统架构。该系统以32位NiosⅡ嵌入式微处理器为核心,通过高速Avalon互联总线与DDRⅡ存储器、同步SRAM存储器、Flash存储器、PLL锁相环、JTAGUART、定时器、流水线式读取DMA控制器及立体匹配算法模块连接,形成一个完整的立体匹配专用计算机系统。系统提供一套配置接口,通过这套接口可以对立体匹配算法模块工作参数进行配置,使系统可以支持各种分辨率尺寸的立体图形匹配,增加了系统灵活性。本文使用所提出的片上系统架构实现了传统SAD立体匹配算法以及改进的稀疏Census变换的立体匹配算法,并对两种算法处理的视差数据进行了比较性研究。结果表明本文提出的稀疏Census变换的立体匹配算法在匹配准确性、资源占用等方面都优于SAD立体匹配算法,同时还有很好的实时性能。
【作者】张翔；
【导师】陈章位；
【作者基本信息】浙江大学，机械电子工程，2014，博士
【关键词】双目立体视觉；立体匹配；可编程片上系统；现场可编程逻辑门阵列；Census变换；流水线并行结构；

【参考文献】
[1]朱成白.PFC模块并联技术研究[D].南京航空航天大学,电力电子与电力传动,2004,硕士.
[2]王艳.包商银行微小企业信贷业务内部控制评价与改进[D].内蒙古大学,工商管理,2013,硕士.
[3]苗润华.基于聚类和孤立点检测的数据预处理方法的研究[D].北京交通大学,计算机科学与技术,2012,硕士.
[4]曹耀.要素分配理论视角下矿产资源资本化问题研究[D].石家庄经济学院,人口、资源与环境经济学,2014,硕士.
[5]刘俊.CAE分析平台销售项目优化管理研究[D].北京工业大学,项目管理（专业学位）,2013,硕士.
[6]陈航燕.基于碳纳米管的流体器件设计[D].华东师范大学,2011.
[7]宫红彩.基于模糊逻辑的无线传感器网络移动节点定位算法研究与应用[D].山东财经大学,管理科学与工程,2012,硕士.
[8]李娇.层次化SOC可测性架构及测试调度优化策略研究[D].上海大学,控制理论与控制工程,2014,博士.
[9]李思文,李华,杨臧健,任建莉,钟英杰.光管内湍流脉动传热影响因素的实验研究[J].浙江工业大学学报,2013,04:395-399.
[10]宋燕莎.滚珠丝杠感应加热有限元分析及优化[D].山东大学,材料加工工程,2013,硕士.
[11]常海涛.基于人工免疫粒子滤波的纯电动汽车锂电池SOC估计研究[D].北京交通大学,智能交通工程,2013,硕士.
[12]骆文英.英语财经新闻编译报告[D].四川外国语大学,翻译（专业学位）,2014,硕士.
[13]付蓉.留学生习得“把”字句补语的偏误及教学对策[D].华中师范大学,汉语国际教育,2013,硕士.
[14]苏白鸽.操作条件对缺氧/好氧膜生物反应器中胞外聚合物及膜污染的影响研究[D].青岛理工大学,市政工程,2012,硕士.
[15]李荣飞.基于市场约束视角的我国存款保险制度研究[D].华东交通大学,产业经济学,2013,硕士.
[16]唐梅宝.中国“转基因农业技术发展”的战略分析[D].南京农业大学,行政管理,2012,硕士.
[17]杨闯.节能门窗的材料性能、热工计算及模拟研究[D].浙江大学,材料科学与工程,2013,硕士.
[18]周曼.我国农村留守儿童受教育权保障对策研究[D].上海大学,法律,2013,硕士.
[19]刘文奇.一种主动脉覆膜支架原位开窗技术的可行性研究[D].华中科技大学,血管外科,2013,硕士.
[20]谢印成.江苏高校印刷企业集团组建模式研究[D].南京理工大学,2003.
[21]甘凤春.基于专业核心能力的民族学本科课程设置研究[D].西南大学,高等教育学,2014,硕士.
[22]肖丽霞.金融管理体制的极左范例：贫下中农管理农村信用社研究[D].山东大学,中国近现代史,2013,硕士.
[23]程淑萍.针刺左侧丰隆穴对健康青年大脑中动脉血流动力学影响的研究[D].黑龙江中医药大学,针灸推拿学（专业学位）,2013,硕士.
[24]孙凯红.河套农村商业银行信贷风险内部控制应用研究[D].内蒙古大学,会计,2014,硕士.
[25]李朋飞.新加坡同济医院研究[D].华侨大学,历史学,2013,硕士.
[26]李哲.我国公共政策制定中交易成本问题研究[D].西北大学,行政管理,2013,硕士.
[27]马冬.运动教育模式在普通高校网球课教学中的应用研究[D].山东体育学院,体育教学,2012,硕士.
[28]贾敬辉.岩石三点弯曲动态破坏过程数值模拟研究[D].大连理工大学,岩土工程,2013,硕士.
[29]郑远宁.汉英交传笔记特征与口译产出质量的相关性的实证研究[D].吉林大学,翻译（专业学位）,2013,硕士.
[30]李冠.基于嵌入式Linux和GPRS的远程心电监护终端的设计[D].天津医科大学,生物医学工程,2009,硕士.
[31]刘桦.”合理人标准”在我国未成年人侵权责任承担中的适用研究[J].河南工业大学学报(社会科学版),2015,01:81-85+90.
[32]李畅.两类非线性方程的混合元方法研究[D].郑州大学,计算数学,2013,硕士.
[33]吴麟.栓钉锈蚀钢—混凝土组合梁性能试验研究[D].浙江大学,结构工程,2013,硕士.
[34]韩磊.LNG船推进控制系统建模与仿真研究[D].大连海事大学,轮机工程,2013,硕士.
[35]任悦.玛拉沁夫小说女性形象论析[D].内蒙古大学,中国现当代文学,2014,硕士.
[36]宋笑娜.公共部门女性科技人才发展阻滞的网络化治理[D].华中师范大学,行政管理,2012,硕士.
[37]赵雪松.数据分析系统的应用研究[J].中国铁路,2005,05:42-43+52.
[38]刘文昭.B公司战略制定研究[D].大连理工大学,EMBA（专业学位）,2013,硕士.
[39]梁慧.p38MAPK通路在响尾蛇毒素诱导SK-MES-1肺癌细胞凋亡和自噬中的作用[D].苏州大学,生药学,2012,硕士.
[40]陈雅.EPR制度下有限库存的逆向供应链决策与激励研究[D].浙江工业大学,2013.
[41]张燕.基于免疫克隆选择算法的研究与应用[D].山西师范大学,信号与信息处理,2013,硕士.
[42]肖华伟.抗生物污染纳米材料混合基质膜制备方法研究[D].北京化工大学,化学工程（专业学位）,2013,硕士.
[43]史文涛.公共治理视角下税务行政危机管理研究[D].兰州大学,公共管理（专业学位）,2013,硕士.
[44]杨贤勇,柏嵩,丁杰,龙良雨,华小兵,张军.500kV苏州东变电站智能化技术方案与实现[J].电力系统自动化,2011,05:96-99.
[45]牛尧尧.高校档案网站评估指标体系的构建与应用研究[D].郑州大学,档案学,2013,硕士.
[46]张佳赟.M公司黑龙江光伏发电项目投资决策研究[D].中国地质大学（北京）,工商管理,2014,硕士.
[47]曾令英.云计算中MapReduce并行计算平台的研究[D].哈尔滨工业大学,计算机技术,2013,硕士.
[48]张艳红.儿科护士离职行为原因的探索及离职过程的探讨：质性研究[D].复旦大学,护理,2012,硕士.
[49]夏凡.嵌入式MEMS-INS数据采集与处理系统的设计[D].江苏科技大学,机械制造及其自动化,2013,硕士.
[50]刘颖.《青岛日报》经济新闻报道研究[D].新疆大学,新闻学,2013,硕士.